Hive split()、explode()和lateral view 应用单列，多列炸裂 |
您所在的位置：网站首页 › sql 拆分成多行 › Hive split()、explode()和lateral view 应用单列，多列炸裂 |
|
导航
基本概念
示例
数据准备
函数应用
split()
explode（）函数
总结
基本概念
在对于SQL的使用中，常常会遇到列转行，或者将一列的数据散列成多行进行统计分析处理的需求，这时候，结合split()、explode()和lateral view 处理这些需求会使得我们得心应手许多。先来了解一下这三个基本的介绍吧。 1.Split(str, separator)：将字符串按照后面的分隔符切割，转换成字符array。第一个参数是我们需要进行分割的字符串，第二个参数是我们的分割符，其结果时一个数组。和Java中String的split()方法表现一致。 2.EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。col可以是Hive中集合数据类型中的Array或Map，不能是struct类型。有小可爱还不清楚Hive的集合数据类型？那就贴心的带小可爱简单回顾一下。Hive集合数据类型 数据类型 描述 语法示例 struct 和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过 字段名.first来引用。 struct map MAP是一组键-值对元组集合，使用数组表示法可以访问数据。例如，如果某个列的数据类型是MAP，其中键->值对是’first’->’John’和’last’->’Doe’，那么可以通过字段名[‘last’]获取最后一个元素 map(‘first’,‘JOIN’,‘last’,‘Doe’) ARRAY 数组是一组具有相同类型和名称的变量的集合。这些变量称为数组的元素，每个数组元素都有一个编号，编号从零开始。例如，数组值为[‘John’, ‘Doe’]，那么第2个元素可以通过数组名[1]进行引用。 Array() 例如array(‘john’,‘Doe’)Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。 3.LATERAL VIEW 用法：LATERAL VIEW udtf(expression) 虚拟表别名 AS 列别名 lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。 lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。 tips ：Hive的函数大致可以分为三类：UDF（用户自定义函数）、UDAF（用户自定义聚合函数）、UDTF（用户自定义表生成函数）。大致的特定如下： UDF：一进一出，即遗憾数据输入，一行数据输出，如：substring（） UDAF： 多进一出，多行数据输入，只有一个结果输出，如：sum()、count()等聚合函数 UDTF：一进多出，如现在explode(),可以将一行数据输出为多行结果 示例在大致了解了split()、explode()和lateral view的介绍我们一一开始去看看是如何使用的。 数据准备 # 新建一个文本 [qingfeng@hadoop102 data]$vim movie.txt # 数据如下，电影的分类以及语言 《疑犯追踪》 悬疑,动作,科幻,剧情 English,Chinese,Janpanese,Krease 《Lie to me》 悬疑,警匪,动作,心理,剧情 English,Chinese,Janpanese,Gernemic 《战狼2》 战争,动作,灾难 English,Chinese,Janpanese -- 创建movie表 hive > create table movie(mname string,category string,language string) row format delimited fields terminated by '\t'; -- 加载数据 hive > load data local inpath "/home/qingfeng/data/movie.txt" into table movie; -- 查看数据 hive > select * from movie; INFO : OK +----------------+---------------------+-------------------------------------+ | movie.mname | movie.category | movie.language | +----------------+---------------------+-------------------------------------+ | 《疑犯追踪》 | 悬疑,动作,科幻,剧情 | English,Chinese,Janpanese,Krease | | 《Lie to me》 | 悬疑,警匪,动作,心理,剧情 | English,Chinese |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
| CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |